Lâu đài Harlech nằm trên một phần của Mái vòm Harlech, một khối đá cao gần 200 foot (61 m), đất hạ dần về phía bắc và tây, một đường mương cắt vào đá bảo vệ các lối tiếp cận còn lại đến lâu đài.[35] Lâu đài có thiết kế đồng tâm với hàng phòng thủ bên trong được bao bọc bởi một cái khác tạo thành một khu vực bên trong và bên ngoài, bức tường bên ngoài ban đầu có phần cao hơn ngày nay.[36] Harlech được xây dựng từ sa thạch địa phương có màu xám xanh, với các khối lớn đồng đều ở tòa tháp và không đều được sử dụng để làm mương dẫn cùng các bức tường.[31] Một loại đá sa thạch vàng mềm hơn được sử dụng để trang trí bên trong lâu đài, có thể là đã được khai thác từ khu vực xung quanh Tu viện Egryn gần Barmouth.[31]

Lối vào chính của lâu đài đi qua một cây cầu đá bắc qua một con mương, một bên là hai tháp cầu và một bên là nhà cổng; phần còn lại của tháp cầu ngày nay và một lối vào bằng gỗ tới nhà cổng thay thế cây cầu đá cũ.[37] Một cổng dẫn nước hướng ra một cầu thang được bảo vệ gồm 127 bậc chạy xuống chân vách đá.[38] Vào thế kỷ 13, biển gần sát cầu thang, cho phép tiếp tế bằng đường biển một cách dễ dàng, nhưng ngày nay biển đã rút đáng kể, khiến cho việc hình dung việc này trong bối cảnh ban đầu trở nên khó khăn hơn.

Nhà cổng được thiết kế đôi khi được gọi là kiểu Tonbridge trở nên phổ biến trong thế kỷ 13 với hai tòa tháp phòng thủ "hình chữ D" đồ sộ ở ngay lối vào.[39] Lối đi vào lâu đài được bảo vệ bởi ba cổng và ít nhất hai cánh cửa nặng.[10] Nhà cổng có hai tầng phía trên, được chia thành nhiều phòng khác nhau.[40] Mỗi tầng có ba cửa sổ lớn nhìn ra khu vực bên trong, tầng hai có thêm hai cửa sổ lớn ở hai bên nhà cổng. Cổng cũng được trang bị lò sưởi và ban đầu có những ống khói nổi bật.[41] Việc sử dụng các phòng này làm gì là chủ đề của các cuộc tranh luận trừu tượng. Nhà sử học A. J. Taylor lập luận rằng, tầng thứ nhất của nhà cổng được sử dụng bởi lính canh như là chỗ ở còn tầng thứ hai được sử dụng của những người có cấp bậc cao hơn. Jeremy Ashbee lại cho rằng chỗ của những người có cấp bậc cao hơn nằm ở khu vực bên trong và nhà cổng ở tầng này được sử dụng cho các mục đích khác.[42]

Khu vực bên trong được bảo vệ bởi bốn tòa tháp tròn lớn ở bốn góc. Theo thời gian, chúng có những cái tên khác nhau. Vào năm 1343, theo chiều kim đồng hồ từ phía đông bắc chúng lần lượt được gọi là Le Prisontour, Turris Ultra Gardinium, Le Wedercoktour và Le Chapeltour; nhưng đến năm 1564 chúng được đổi thành các tháp Debtors, Mortimer, Bronwen và Armourer.[43] Le Prisontour là tháp canh kết hợp một hầm ngục và Le Chapeltour có thể đã là một xưởng sản xuất pháo trong thế kỷ 16.[44] Một số phạm vi của các tòa nhà được xây dựng xung quanh khu vực sân trong, bao gồm nhà nguyện, nhà bếp, tòa nhà dịch vụ, kho lương và một hội trường lớn.[45] Tường răng cưa ban đầu có thể được xây dựng với ba hình chạm đầu mái tương tự như lâu đài Conwy, mặc dù còn rất ít dấu tích của nó thời hiện đại.[46]

Kiến trúc của Harlech có liên hệ chặt chẽ với kiến trúc tương tự được tìm thấy ở vương quốc Savoy cùng thời kỳ.[46] Đó là cửa vòm bán nguyệt, cửa sổ phong cách, rầm tháp và vị trí lỗ dựng giàn giáo, thường được cho là ảnh hưởng từ kiến trúc sư Savoy Master James.[47] Tuy nhiên, liên kết giữa Harlech và Savoy không chỉ đơn giản như vậy, vì trong một số trường hợp, các cấu trúc có liên quan đến Savoy đã được xây dựng ngay cả sau khi James rời khỏi vùng.[48] Do đó, sự giống nhau giữa các chi tiết kiến trúc có thể là kết quả rộng hơn là vai trò của các thợ thủ công và kỹ sư Savoy trong dự án xây dựng Harlech.[48]